엔비디아가 구글 클라우드와 협력을 통해 전 세계 스타트업의 생성형 AI 애플리케이션과 서비스 개발 가속화를 지원한다고 발표했다. 양사의 이번 협력은 다양한 규모의 기업이 생성형 AI 애플리케이션을 개발하는데 드는 비용을 절감하고 장벽을 완화하기 위해 공개된 일련의 발표들 중 가장 최근에 이뤄진 것이다.  특히 스타트업은 AI 투자에 대한 높은 비용으로 인해 많은 제약을 받고 있다. 이번 협업으로 엔비디아와 구글 클라우드는 클라우드 크레딧, 시장 진출 지원, 그리고 기술 전문 지식에 대한 접촉 기회 확대를 통해 고객에게 더 빠르게 스타트업의 가치를 제공하도록 지원한다. 1만 8000개 이상의 스타트업을 지원하는 엔비디아 인셉션 글로벌 프로그램의 회원은 특히 AI에 중점을 둔 스타트업의 경우 최대 35만 달러의 구글 클라우드 크레딧을 제공받고 구글 클라우드 인프라 사용 가속화 경로를 확보할 수 있다. 구글 포 스타트업 클라우드 프로그램 멤버는 엔비디아 인셉션에 가입해 기술 전문 지식, 엔비디아 딥 러닝 인스티튜트(Deep Learning Institute) 과정 크레딧, 엔비디아 하드웨어와 소프트웨어 등을 이용할 수 있다. 또한 구글 포 스타트업 클라우드 프로그램의 스타트업 회원은 해당 분야에 관심이 있는 벤처 투자 기관에 노출될 기회를 주는 엔비디아 인셉션 캐피탈 커넥트(Inception Capital Connect) 플랫폼에 참여할 수 있다. 두 프로그램 모두에서 급성장한 신생 소프트웨어 제조업체는 구글 클라우드 마켓플레이스(Marketplace) 등록해 공동 마케팅, 제품 개발 가속화 지원을 우선적으로 받을 수 있다.     구글 딥마인드(DeepMind)는 지난 2월 최첨단 개방형 모델 제품군 젬마(Gemma)를 공개했는데,  엔비디아는 최근 구글과 협력해 모든 젬마 전용 엔비디아 AI 플랫폼에 대한 최적화를 실시했다. 젬마는 구글 딥마인드의 가장 뛰어난 모델인 제미나이(Gemini) 제작에 사용된 동일한 연구와 기술로 구축됐다. 양사의 긴밀한 협력으로 거대 언어 모델(LLM) 추론 최적화를 위한 오픈 소스 라이브러리 엔비디아 텐서RT-LLM(TensorRT-LLM)을 통해 엔비디아 GPU로 젬마를 실행, 젬마의 성능을 발전시켰다. 젬마 7B(Gemma 7B), 리커런트젬마(RecurrentGemma), 코드젬마(CodeGemma)를 포함한 젬마 모델 제품군은 엔비디아 API 카탈로그에서 사용 가능하며, 사용자는 이를 브라우저에서 사용하거나, API 엔드포인트로 프로토타입을 제작하거나, NIM을 통한 셀프 호스팅을 할 수 있다. 구글 클라우드를 사용하면 GKE와 구글 클라우드 HPC 툴킷으로 플랫폼 전반에 엔비디아 네모(NeMo) 프레임워크를 배포하기 쉬워진다. 이를 통해 개발자는 생성형 AI 모델의 훈련과 제공을 확장하고 자동화할 수 있으며, 개발 과정에 빠르게 착수하는 맞춤형 청사진을 통해 턴키 환경을 신속히 구축할 수 있다. 엔비디아 AI 엔터프라이즈의 일부인 엔비디아 네모는 구글 클라우드 마켓플레이스에서도 이용 가능하다. 이를 통해 고객들은 네모 및 기타 프레임워크에 쉽게 액세스해 AI 개발을 가속할 수 있다. 구글 클라우드는 엔비디아 생성형 AI 가속 컴퓨팅의 가용성 확대를 위해 5월 A3 메가(Mega)의 정식 출시를 발표했다. 이 인스턴스는 엔비디아 H100 텐서 코어(H100 Tensor Core) GPU로 구동되는 A3 가상 머신(VM) 제품군의 확장으로, A3 VM에서 GPU 대 GPU 네트워크 대역폭이 두 배로 늘었다. A3에 탑재된 구글 클라우드의 새로운 컨피덴셜(Confidential) VM에는 컨피덴셜 컴퓨팅에 대한 지원도 포함돼 있어, 고객이 H100 GPU 가속에 액세스하는 동안 코드를 변경하지 않고도 민감 데이터의 기밀성과 무결성을 보호하고 학습과 추론 도중 애플리케이션과 AI 워크로드를 보호할 수 있다. 이 GPU 기반 컨피덴셜 VM은 올해 미리보기로 제공될 예정이다. 한편, 블랙웰(Blackwell) 플랫폼에 기반한 엔비디아의 최신 GPU는 2025년 초에 엔비디아 HGX B200과 엔비디아 GB200 NVL72 등 두 가지 버전으로 구글 클라우드에 출시될 예정이다. HGX B200은 가장 까다로운 AI, 데이터 분석 그리고 고성능 컴퓨팅 워크로드를 위해 설계됐으며, GB200 NVL72는 차세대, 대규모, 조 단위의 매개변수 모델 학습과 실시간 추론을 위해 설계됐다. 엔비디아 GB200 NVL72는 각각 2개의 엔비디아 블랙웰 GPU와 엔비디아 그레이스 CPU(Grace CPU)가 결합된 36개의 그레이스 블랙웰 슈퍼칩을 900GB/s의 칩투칩(chip-to-chip) 인터커넥트를 통해 연결한다. 이는 하나의 엔비디아 NV링크(NVLink) 도메인에서 최대 72개의 블랙웰 GPU와 130TB/s의 대역폭을 지원한다. 통신 병목 현상을 극복하고 단일 GPU처럼 작동해 이전 세대 대비 30배 빠른 실시간 LLM 추론과 4배 빠른 트레이닝을 제공한다. 엔비디아는 지난 3월 생성형 AI의 요구사항에 최적화된 엔터프라이즈 개발자용 AI 플랫폼인 엔비디아 DGX 클라우드를 H100 GPU 기반의 A3 VM에서 사용할 수 있다고 발표했다. GB200 NVL72가 탑재된 DGX 클라우드는 2025년 구글 클라우드에서도 제공될 예정이다.

앤시스코리아는 가속 컴퓨팅 및 생성형 AI 기반의 차세대 시뮬레이션 솔루션 개발을 위해 엔비디아와 협력을 확대한다고 밝혔다. 양사간 협력 확대를 통해 앤시스는 최첨단 기술을 융합해 6G 통신 기술을 고도화하고 엔비디아 그래픽처리장치(GPU)를 통해 자사의 솔버를 강화할 전망이다. 또한, 앤시스의 소프트웨어에 엔비디아 AI를 통합하고 물리 기반 디지털 트윈을 개발하며, 엔비디아 AI 파운드리 서비스로 개발된 맞춤형 대규모 언어 모델(LLM)을 사용할 예정이다. 앤시스는 최근 포트폴리오 전반에 걸쳐 데이터 상호운용성을 강화하고 향상된 그래픽과 비주얼 렌더링을 제공하기 위해 오픈USD 얼라이언스(AOUSD)에 가입했다. 앤시스는 이미 엔비디아 옴니버스(NVIDIA Omniverse) 플랫폼에 기반한 엔비디아 드라이브 심(NVIDIA DRIVE Sim)에 앤시스 AV엑셀러레이트 오토노미(Ansys AVxcelerate Autonomy)를 연동했으며 앤시스 STK(Ansys STK), 앤시스 LS-DYNA(Ansys LS-DYNA), 앤시스 플루언트(Ansys Fluent) 및 앤시스 퍼시브 EM(Ansys Perceive EM) 등의 추가 연동을 검토하고 있다. 이를 통해 강화된 상호운용성을 바탕으로 사용자는 광범위한 수준에 걸친 다양한 시뮬레이션 과제를 해결할 수 있다. 앤시스는 엔비디아와 협력을 통해 고성능 컴퓨팅(HPC) 분야의 수치 연구를 발전시켜 사용자가 업계 전반에 걸쳐 설계 주기를 단축하고, 보다 복잡화된 제품을 제공할 수 있도록 지원할 계획이다. 앤시스는 다중 시뮬레이션 솔루션 강화를 위해 엔비디아 H100 텐서 코어(NVIDIA H100 Tensor Core) GPU를 활용하며 엔비디아 블랙웰(Blackwell) 기반 프로세서와 엔비디아 그레이스 호퍼 슈퍼칩(Grace Hopper Superchips)을 앤시스 포트폴리오 전반에 우선 도입한다. 여기에는 플루언트, LS-DYNA, 앤시스 전자 제품 및 반도체 제품이 포함된다. 동시에 엔비디아는 반도체 툴을 포함한 앤시스 기술을 활용해 가상 모델과 데이터 센터 설계를 강화, 궁극적으로 앤시스 솔버 성능을 가속화할 예정이다.     앤시스는 엔비디아 6G 리서치 클라우드 (NVIDIA 6G Research Cloud) 플랫폼을 최초로 채택한 기업 중 하나로, 연구자이 무선 액세스 네트워크(RAN) 기술용 AI를 발전시킬 수 있도록 포괄적인 제품군을 제공한다. 앤시스 HFSS로 구동되는 새로운 솔버 ‘앤시스 퍼시브 EM 솔버(Ansys Perceive EM solver)’는 6G 기술 개발 속도를 높이도록 설계된 엔비디아 6G 리서치 클라우드를 기반으로 한다.  앤시스는 최신 AI 기술로 소프트웨어 제품을 강화하기 위해 물리 기반의 머신러닝(ML)을 위한 엔비디아 모듈러스(NVIDIA Modulus) 프레임워크를 연구 중이다. 이 작업은 앤시스 AI+ 제품군 내에서 효율 최적화, 민감도 분석, 견고한 설계 등 향상된 기능을 제공하는 것을 목표로 한다. 또한, 앤시스는 LLM 개발을 발전시키고 설정 및 사용을 단순화하여 시뮬레이션의 대중화를 촉진하기 위해 엔비디아 AI 파운드리(NVIDIA AI foundry) 채택을 검토 중이다. 앤시스 솔루션에 맞춤화된 미래 LLM은 전문적인 가상 지원을 제공하여 새로운 고객의 시뮬레이션 사용 사례를 창출할 잠재력을 제공한다. 앤시스는 생성형 AI를 보다 쉽고 비용 효율적이며 신속하게 개발할 수 있는 도구를 제공하는 엔비디아 네모(NVIDIA NeMo) 플랫폼을 활용할 계획이다. 앤시스의 아제이 고팔(Ajei Gopal) CEO는 “엔비디아와의 협력 확대를 통해 가속 컴퓨팅과 생성형 AI의 새로운 지평을 열 수 있게 되었다”며, “엔비디아 옴니버스의 역동적인 영역 내에서 우리의 고객들이 가상과 현실을 연결함으로써 미래 기술 개발을 비롯한 혁신을 현실화해 우리 시대의 가장 시급한 엔지니어링 과제를 해결할 수 있을 것이라 믿어 의심치 않는다”고 밝혔다. 엔비디아의 젠슨 황(Jensen Huang) CEO는 “앞으로 제조되는 모든 제품에는 디지털 트윈이 적용될 것이다. 중공업 업계 내 전세계의 설계자와 엔지니어는 현재 시뮬레이션 엔진으로 앤시스를 사용하고 있다”며, “우리는 앤시스와 협력하여 이러한 대규모 작업에 가속 컴퓨팅 및 생성형 AI를 제공하고, 엔비디아 옴니버스 디지털화 기술로 앤시스의 선도적인 물리 기반 시뮬레이션 도구를 확장할 수 있도록 협력을 이어갈 것”이라고 말했다.

레노버가 엔비디아와 협력해 모든 기업 및 클라우드에 맞춤형 생성형 AI 애플리케이션을 제공하는 신규 하이브리드 AI 솔루션을 발표했다.  양사의 엔지니어링 협력을 통해 이번 하이브리드 AI 솔루션은 포켓에서 클라우드에 이르는 고객 데이터에 AI를 효과적으로 활용할 수 있도록 만들어졌다. 개발자들은 엔비디아 AI 엔터프라이즈 소프트웨어 실행에 최적화된 레노버 하이브리드 AI 솔루션을 통해 엔비디아 NIM 및 네모 리트리버(NeMo Retriever)와 같은 마이크로 서비스에 액세스할 수 있게 된다. 레노버는 대규모 AI 워크로드를 효율적으로 처리하기 위해 확장된 레노버 씽크시스템 AI 포트폴리오를 새롭게 공개했다. 이 포트폴리오는 두 개의 엔비디아 8방향 GPU 시스템을 탑재하고 있으며, AI 구현을 가속하기 위한 전력 효율성 및 거대 컴퓨팅 능력을 갖추고 있다. 생성형 AI, 자연어 처리(NLP) 및 대규모 언어 모델(LLM) 개발을 위해 설계됐으며, 엔비디아 HGX AI 슈퍼컴퓨팅 플랫폼에는 엔비디아 H100, H200 텐서 코어 GPU, 신규 엔비디아 그레이스 블랙웰 GB200 슈퍼칩, 엔비디아 퀀텀-X800 인피니밴드 및 스펙트럼-X800 이더넷 네트워킹 플랫폼이 포함되어 있다. 레노버 씽크시스템 AI 서버는 엔비디아 B200 텐서 코어 GPU를 탑재해 생성형 AI의 새로운 막을 열었다. 엔비디아 블랙웰 아키텍처는 생성형 AI 엔진, 엔비디아 NV링크(NVLink) 인터커넥트 및 향상된 보안 기능을 갖추고 있는 점이 특징이다. 또한, B200 GPU는 최대 25배 더 빠른 실시간 추론 성능으로 1조 매개변수를 갖춘 언어 모델을 지원한다. 이는 AI, 데이터 분석 및 HPC 워크로드에 최적 설계됐다.     신규 레노버 씽크시스템 SR780a V3 서버는 1.1대의 전력효율지수(PUE)를 갖춘 5U 시스템으로, 설치 공간을 절약할 수 있는 점이 특징이다. 한편, CPU와 GPU에는 레노버 넵튠 다이렉트 수냉식 기술과 엔비디아 NV스위치(NVSwitch) 기술이 사용되어 발열 문제없이 최대 성능을 유지할 수 있다. 레노버 씽크시스템 SR680a V3 서버는 듀얼 소켓 공랭 시스템으로, 엔비디아 GPU와 인텔 프로세서를 탑재하여 AI를 최대 활용할 수 있도록 설계됐다. 이 시스템은 업계 표준 19인치 서버 랙 타입으로써 과도한 공간을 차지하거나 선반을 필요로 하지 않는 고밀도 하드웨어로 구성되어 있다. 한편, 레노버 PG8A0N 서버는 엔비디아 GB200 그레이스 블랙웰 슈퍼칩을 탑재한 AI용 1U 서버이자 가속기용 개방형 수냉식 기술을 갖췄다. GB200은 45배 더 빠른 실시간 LLM 추론 성능과 더불어 40배 더 낮은 총소유비용(TCO), 40배 더 적은 에너지로 구동된다. 레노버는 엔비디아와의 긴밀한 협업을 통해 AI 트레이닝, 데이터 처리, 엔지니어링 설계 및 시뮬레이션을 위한 GB200 랙 시스템을 제공할 예정이다. 고객들은 레노버가 지닌 엔비디아 인증 시스템 포트폴리오를 통해 ‘엔비디아 AI 엔터프라이즈’를 사용할 수 있게 된다. 이는 프로덕션급 AI 애플리케이션 개발 및 배포를 위한 엔드 투 엔드 클라우드 네이티브 소프트웨어 플랫폼이다. 또한, 엔비디아 AI 엔터프라이즈에 포함된 엔비디아 NIM 추론 마이크로 서비스를 레노버 엔터프라이즈 인프라에서 실행함으로써, 고성능 AI 모델 추론을 할 수 있다. 또한, 레노버는 워크스테이션에서 클라우드에 이르기까지 엔비디아 OVX와 엔비디아 옴니버스 설계, 엔지니어링 및 구동을 지원하고 있다고 소개했다. 기업들이 맞춤형 AI, HPC 및 옴니버스 애플리케이션을 신속하게 구축할 수 있도록 레노버는 엔비디아 MGX 모듈형 레퍼런스 디자인을 통해 신속하게 모델을 구축하고 있다. 이로써 맞춤형 모델을 제공받은 CSP 업체들은 가속화된 컴퓨팅을 통해 AI 및 옴니버스 워크로드를 대규모 처리할 수 있게 된다. 엔비디아 H200 GPU를 기반으로 한 해당 시스템은 테라바이트급의 데이터를 처리하는 AI 및 고성능 컴퓨팅 애플리케이션을 통해 과학자와 연구자들이 직면한 문제를 해결할 수 있도록 돕는다. 이외에도 레노버는 엔비디아와 협력을 통해 대규모 AI 트레이닝, 미세 조정, 추론 및 그래픽 집약적 워크로드 처리를 위한 최대 4개의 RTX 6000 에이다 제너레이션(RTX 6000 Ada Generation) GPU를 제공하여 데이터 사이언스 워크스테이션을 강화했다. 이는 자동화된 워크플로를 통해 AI 개발자의 생산성을 향상시킨다. 엔비디아 AI 워크벤치(AI Workbench)를 갖춘 신규 레노버 워크스테이션은 소프트웨어 툴을 통해 추론, 대규모 시뮬레이션, 까다로운 워크플로를 위한 강력한 AI 솔루션을 개발 및 배포할 수 있도록 돕는다. 엔비디아 AI 워크벤치는 모든 개발자로 하여금 생성형 AI 및 머신 러닝 개발을 지원하는 솔루션이다. 레노버 씽크스테이션과 씽크패드 워크스테이션에서 이용 가능한 신규 엔비디아 A800 GPU는 AI용으로 특별히 설계되어, 모든 종류의 AI 워크플로를 활용하는 조직들을 위해 안전하고 프라이빗한 데이터 사이언스 및 생성형 AI 지원 환경을 제공한다. 레노버 인프라스트럭처 솔루션 그룹(ISG)의 커크 스카우젠 사장은 “레노버와 엔비디아는 전 세계 비즈니스를 위한 증강 지능(Augmented Intelligence)의 경계를 허물고 있다. 생성형 AI를 지원하는 최첨단 하이브리드 AI 솔루션 포트폴리오를 통해 데이터가 있는 어느 곳이든 AI 컴퓨팅을 활용할 수 있게 됐다”면서, “우리는 실시간 컴퓨팅, 전력 효율성, 배포 용이성 개선을 기반으로 새로운 AI 활용 사례가 시장에 나올 수 있는 변곡점에 놓여있다. 레노버는 엔비디아와 파트너십을 통해 효율성, 성능, 비용 측면에서 획기적인 발전을 이루어 모든 산업 군에서 AI 애플리케이션 활용을 가속화할 것이다. 또한, 리테일 경험 향상, 도시 재편, 스마트 제조 지원 등 기업들이 대규모 데이터셋의 인사이트를 즉시 활용할 수 있도록 도울 것”이라고 말했다. 엔비디아의 밥 피트(Bob Pette) 엔터프라이즈 플랫폼 부문 부사장은 “AI는 기업들이 데이터를 통해 새로운 인사이트를 얻고 생산성을 향상시킬 수 있는 강력한 힘”이라며, “엔비디아 기술과 통합된 레노버의 새로운 엔터프라이즈 AI 솔루션은 AI를 위한 컴퓨팅 성능을 강화하는 데 있어 중추적인 이정표일 뿐만 아니라, 기업들이 생성형 AI를 활용할 수 있도록 신뢰도 있는 하이브리드 시스템을 제공한다”고 말했다.

인텔은 델 테크놀로지스, 엔비디아, 오하이오 슈퍼컴퓨터 센터(OSC)와 협업한 결과로 최첨단 고성능 컴퓨팅(HPC) 클러스터인 카디널(Cardinal)을 공개했다. 카디널은 연구, 교육 및 산업 혁신, 특히 인공지능(AI) 분야에서 증가하는 지역 내 HPC 리소스 수요를 충족하기 위해 설계되었다. AI와 머신러닝은 과학, 공학, 바이오 의학 분야에서 복잡한 연구 문제를 해결하기 위해 필수로 활용되고 있다. 이러한 기술의 효능이 지속적으로 입증되면서 농업 과학, 건축학, 사회학과 같은 학문 분야에서도 활용도 늘어나고 있다. 카디널 클러스터는 증가하는 AI 워크로드의 수요를 충족할 수 있는 하드웨어를 갖추고 있다. 인텔은 이 새로운 클러스터가 “2016년에 출시된 오웬스 클러스터(Owens Cluster)를 대체할 시스템보다 기능과 용량 모든 면에서 더 대규모의 업그레이드가 될 것”이라고 밝혔다.     카디널 클러스터는 메모리 사용량이 많은 HPC 및 AI 워크로드를 효율적으로 관리하는 동시에 프로그래밍 기능, 이식성(portability) 및 에코시스템 채택을 촉진하는 기반이 되는 델 파워엣지(Dell PowerEdge) 서버와 고대역폭 메모리(HBM)를 갖춘 인텔 제온 CPU 맥스 시리즈(Intel Xeon CPU Max Series)를 활용한 이기종 시스템이다. 이 시스템은 총 3만 9312 개의 CPU 코어를 제공하는 756개 맥스 시리즈(Max Series) CPU 9470 프로세서와 128 기가바이트(GB) HBM2e 및 노드 당 512 GB의 DDR5 메모리를 탑재했다. 단일 소프트웨어 스택과 x86 기반 기존 프로그래밍 모델을 갖춘 이 클러스터는 광범위한 사용 케이스를 처리하고 쉽게 도입 및 배포할 수 있도록 지원하면서 OSC의 처리 능력을 두 배 이상 향상시킬 수 있다. 또한, 이 시스템은 32개의 노드로 104개의 코어, 1테라바이트(TB)의 메모리, 4개의 NV링크(NVLink) 연결로 상호 연결된 94GB HBM2e 메모리를 갖춘 엔비디아 호퍼 아키텍처 기반 H100 텐서 코어(H100 Tensor Core) GPU 4개를 탑재했다. 초당 400기가비트(Gbps)의 네트워킹 성능과 짧은 지연 시간을 제공하는 엔비디아 퀀텀-2(Nvidia Quantum-2) 인피니밴드(InfiniBand)로 대규모 AI 기반 과학 애플리케이션을 위한 500페타플롭(petaflop)의 최고 AI 성능(희소성 포함 FP8 텐서 코어)을 제공하며, 16개의 노드에 104개의 코어, 128GB HBM2e 및 2TB DDR5 메모리를 탑재해 대규모 대칭형 멀티프로세싱(SMP) 스타일 작업을 처리할 수 있다. 인텔의 데이터 센터 AI 솔루션 제품군을 총괄하는 오기 브르기치(Ogi Brkic) 부사장은 “인텔 제온 CPU 맥스 시리즈는 널리 채택된 AI 프레임워크와 라이브러리를 활용하여 HPC 및 AI 워크로드를 개발하고 구현하는 데 최적의 선택지”라면서, “이 시스템의 고유한 이기종성을 통해 OSC의 엔지니어, 연구원 및 과학자들이 이 시스템이 제공하는 두 배 이상 메모리 대역폭 성능을 최대한 활용할 수 있도록 지원할 것”이라고 전했다.

  엔비디아가 구글과 협력해 모든 엔비디아 AI 플랫폼에서 AI 모델 ‘젬마(Gemma)’를 위한 최적화를 진행해, 비용을 절감하고 도메인별 용도에 따라 작업 속도를 높였다고 밝혔다. 젬마는 구글의 새로운 경량 오픈 언어 모델로, 20억(2B) 개 파라미터와 70억(7B) 개 파라미터 크기로 제공된다. 젬마는 구글의 멀티모달 모델인 제미나이(Gemini) 개발에 사용된 동일한 연구와 기술을 기반으로 구축됐다. 엔비디아는 구글과 협력해 엔비디아 텐서RT-LLM(TensorRT-LLM)으로 젬마의 성능을 가속화했다. 텐서RT-LLM은 데이터센터, 클라우드 혹은 엔비디아 RTX GPU가 탑재된 PC에서 대규모 언어 모델(LLM) 추론을 최적화하는 오픈 소스 라이브러리이다. 이를 통해 개발자는 전 세계 고성능 AI PC에 탑재된 1억 개 이상의 엔비디아 RTX GPU를 활용할 수 있다. 개발자들은 클라우드 상의 엔비디아 GPU에서도 젬마를 실행할 수 있다. 여기에는 H100 텐서 코어(H100 Tensor Core) GPU를 기반으로 하는 구글 클라우드 A3인스턴스(A3 instances)가 포함되며, 초당 4.8테라바이트의 141GB HBM3e 메모리를 갖춘 엔비디아 H200 텐서 코어 GPU도 합류할 예정이다. 구글은 올해 안에 이를 배포할 예정이라고 전했다. 엔비디아는 네모 프레임워크(NeMo Framework)가 적용된 엔비디아 AI 엔터프라이즈(AI Enterprise)와 텐서RT-LLM을 비롯한 광범위한 도구를 갖추고 있다. 엔터프라이즈 개발자는 이들을 추가로 활용해 젬마를 미세 조정하고 최적화된 모델을 프로덕션 애플리케이션에 배포할 수 있다. 한편, 엔비디아는 자사의 기술 데모인 챗 위드 RTX(Chat with RTX)에 곧 젬마가 추가로 지원될 예정이라고 전했다. 챗 위드 RTX는 검색 증강 생성(Retrieval-augmented generation : RAG)과 텐서RT-LLM 소프트웨어를 사용해 로컬 RTX 기반의 윈도우 PC에서 사용자에게 생성형 AI 기능을 제공하는 기술이다. 사용자는 챗 위드 RTX를 통해 PC의 로컬 파일을 LLM에 쉽게 연결하고, 자신의 데이터로 챗봇을 개인화할 수 있다. 챗 위드 RTX는 로컬에서 모델이 실행되므로 결과가 빠르게 제공되며 사용자 데이터가 디바이스에 유지된다. 클라우드 기반 LLM 서비스에 대신 챗 위드 RTX를 사용하면 민감한 데이터를 제3자와 공유하거나 인터넷에 연결할 필요 없이 로컬 PC에서 처리할 수 있다.

BIM 칼럼니스트 강태욱의 이슈 & 토크   이번 호에서는 GPU CUDA(쿠다) 병렬처리를 지원하는 넘바(Numba) 라이브러리를 간략히 소개한다. CUDA는 현재 딥러닝 기술의 기반처럼 사용되며, 사실상 산업 표준이다. 딥러닝은 모든 연산이 텐서 행렬 계산이므로, 엔비디아 GPU에 내장된 수많은 계산 유닛(실수 계산에 특화된 CPU)들을 사용한다. CUDA의 강력한 수치해석 데이터 병렬처리 기능은 딥러닝뿐 아니라 디지털 트윈의 핵심인 시뮬레이션, 모델 해석 등에 필수적인 수치계산 엔진으로 사용된다.   ■ 강태욱 건설환경 공학을 전공하였고 소프트웨어 공학을 융합하여 세상이 돌아가는 원리를 분석하거나 성찰하기를 좋아한다. 건설과 소프트웨어 공학의 조화로운 융합을 추구하고 있다. 팟캐스트 방송을 통해 이와 관련된 작은 메시지를 만들어 나가고 있다. 현재 한국건설기술연구원에서 BIM/GIS/FM/BEMS/역설계 등과 관련해 연구를 하고 있으며, 연구위원으로 근무하고 있다. 페이스북 | www.facebook.com/laputa999 홈페이지 | https://dxbim.blogspot.com 팟캐스트 | http://www.facebook.com/groups/digestpodcast   CUDA는 내장된 수많은 계산 유닛에 입력 데이터를 할당하고, 행렬연산을 하여 출력된 데이터를 CPU 메모리가 접근할 수 있도록 데이터 고속 전송/교환하는 역할을 한다. 그러므로, 딥러닝 모델 학습 성능은 GPU CUDA 성능에 직접적 영향을 받는다. 이벙 호에서는 파이썬(Python)에서 CUDA를 이용해 수치해석 등 계산 성능을 극대화할 수 있는 방법과 간단한 예제를 살펴본다.   그림 1. CUDA 아키텍처(출처 : Multi-Process Service : GPU Deployment and Management Documentation)   GPU CUDA 소개 CUDA는 게임 화면에 렌더링되는 3차원 이미지를 2차원 픽셀에 매핑하기 위한 수많은 행렬을 실시간 처리할 수 있도록 개발되어 왔다. 이런 이유로, 행렬 고속 연산이 필요한 딥러닝 학습에 적극 사용된 것이다.   그림 2. CUDA 기반 실시간 텐서 행렬 연산 결과   CUDA는 오랫동안 개발자의 요구사항을 반영해 발전되어, 개발 플랫폼으로서 탄탄한 생태계를 구축했다.   그림 3. 엔비디아 개발자 사이트   그림 4. CUDA 기반 레이트레이싱 렌더링 결과(출처 : Ray Tracey's blog : GPU path tracing tutorial 3 : GPU)   사실, 많은 스타트업이 이런 기능을 지원하는 딥러닝용 AI 칩을 FPGA 기법 등을 이용해 개발, 홍보하고 있으나, 이런 개발자 지원도구와 플랫폼 생태계 없다면 산업계에서는 의미가 없다고 볼 수 있다.   넘바 소개 넘바는 파이썬 기반 CUDA GPU 프로그래밍을 지원한다. 넘바는 컴파일 기술을 지원하여 CPU와 GPU 모드에서 코딩되는 데이터 구조, 함수 호출을 추상화한다. 넘바는 엔비디아의 CUDA 함수와 설정을 래핑한 고수준의 함수 API를 제공한다. 이를 통해 개발자가 CUDA의 세부 설정에 신경쓸 필요 없이, 데이터 병렬 처리 개발에만 집중할 수 있다.   개발 환경 넘바의 개발 환경은 다음과 같다. NVIDIA Compute Capability 5.0 이상 CUDA 지원 GPU 장착 PC(2023년 12월 시점) NVIDIA CUDA 11.2 이상 NVIDIA TX1, TX2, 자비에, 젯슨 나노 GTX 9, 10, 16 시리즈. RTX 20, 30, 40 시리즈. H100 시리즈 CONDA 환경의 경우, 다음과 같이 터미널을 이용해 CUDA 툴킷을 자동 설치할 수 있다. conda install cudatoolkit 넘바는 cuda python을 이용해 엔비디아 GPU CUDA와 바인딩한다. conda install nvidia::cuda-python 설치 방법은 다음과 같다. conda install numba   ■ 상세한 기사 내용은 PDF로 제공됩니다.

엔비디아가 AI용 엔비디아 스펙트럼-X(NVIDIA Spectrum-X) 이더넷 네트워킹 기술이 델 테크놀로지스, 휴렛팩커드 엔터프라이즈, 레노버의 서버 라인업에 통합된다고 밝혔다. 엔비디아 AI 스택을 탑재한 델 테크놀로지스, HPE, 레노버의 새로운 시스템은 2024년 1분기에 출시될 예정이다. 스펙트럼-X는 생성형 AI를 위해 설계된 것이 특징으로 기존 이더넷 제품보다 1.6배 높은 AI 통신 네트워킹 성능을 구현하며, 기업이 생성형 AI 워크로드를 가속화할 수 있도록 지원한다. 3곳의 시스템 제조업체에서 선보이는 서버 시스템은 스펙트럼-X와 엔비디아 텐서 코어 GPU, 엔비디아 AI 엔터프라이즈 소프트웨어, 엔비디아 AI 워크벤치 소프트웨어를 결합했다. 이로써 기업들에게 생성형 AI로 비즈니스를 혁신할 수 있는 빌딩 블록을 제공한다. 스펙트럼-X는 네트워크 집약적인 대규모 병렬 컴퓨팅을 위해 설계된 엔비디아 블루필드-3 슈퍼NIC(BlueField-3 SuperNIC) 가속 소프트웨어를 결합했다. 엔비디아 블루필드-3 슈퍼NIC는 초당 51Tb/s의 AI용 이더넷 스위치인 스펙트럼-4의 성능을 통해 하이퍼스케일 AI 워크로드를 강화하는 새로운 등급의 네트워크 가속기이다. 이로써 스펙트럼-X는 AI 워크로드의 효율성을 높이며, 엔비디아의 인프라 컴퓨팅 플랫폼인 블루필드-3 DPU를 보완한다. 스펙트럼-X는 차세대 AI 시스템을 위한 레퍼런스 아키텍처인 엔비디아 이스라엘-1(Israel-1) 슈퍼컴퓨터를 지원한다. 이스라엘-1은 델 테크놀로지스와 협력한 것으로, 엔비디아 HGX H100 8-GPU 플랫폼 기반의 델 파워엣지(PowerEdge) XE9680 서버와 스펙트럼-4 스위치 기반의 블루필드-3 DPU와 슈퍼NIC를 사용한다.     엔비디아의 젠슨 황(Jensen Huang) CEO는 “기업이 워크로드를 처리하기 위해 데이터센터를 업그레이드하면서 생성형 AI와 가속 컴퓨팅이 세대 간 전환을 주도하고 있다. 가속 네트워킹은 엔비디아의 선도적인 서버 제조업체 파트너사들이 생성형 AI 시대로 신속하게 전환할 수 있도록 새로운 시스템 파동을 일으키는 촉매제가 될 것”이라고 말했다. 델 테크놀로지스의 마이클 델(Michael Dell) CEO는 “가속 컴퓨팅과 네트워킹은 대규모 언어 모델(LLM)과 생성형 AI 애플리케이션의 요구 사항을 충족시키는 시스템 구축에 핵심적인 역할을 한다. 델 테크놀로지스와 엔비디아의 협력을 통해 고객에게 데이터에서 인텔리전스를 빠르고 안전하게 추출하는 데 필요한 인프라와 소프트웨어를 제공하고 있다”고 말했다. HPE의 안토니오 네리(Antonio Neri) CEO는 “여러 산업에서 혁신을 주도할 생성형 AI는 다양하고 동적인 워크로드를 지원하기 위해 근본적으로 다른 아키텍처를 필요로 한다. 고객이 생성형 AI의 잠재력을 최대한 실현할 수 있도록 HPE는 엔비디아와 협력해 애플리케이션을 지원하는 데 필요한 성능, 효율성, 확장성을 갖춘 시스템을 구축하고 있다”고 말했다. 레노버의 양 위안칭(Yuanqing Yang) CEO는 “생성형 AI는 전례 없는 혁신을 실현할 수 있지만 기업 인프라에 대한 요구 사항도 전례 없이 높아졌다. 레노버는 엔비디아와 긴밀히 협력해 최신 AI 애플리케이션을 구동하는 데 필요한 네트워킹, 컴퓨팅, 소프트웨어를 갖춘 효율적이고 가속화된 시스템을 구축하고 있다”고 말했다.

마이크로소프트가 ‘마이크로소프트 이그나이트 2023(Microsoft Ignite 2023)’에서 고객, 파트너, 개발자의 업무 방식을 혁신하고 생산성을 극대화하는 최신 AI 기술과 솔루션을 소개했다.  올 한해 동안 AI 기술이 급격히 발전하며 다양한 산업군에서 완전히 새로운 업무 수행 방식을 발견하는 등 총체적인 변화의 시기를 겪고 있다. 특히 AI가 업무를 혁신할 수 있는 잠재력이 크다는 전망이 나오고 있다. 마이크로소프트가 발표한 ‘업무동향지표(Work Trend Index)’에 따르면, 코파일럿 사용자의 70%가 생산성 향상을 경험했으며, 68%는 창의적인 작업을 시작하는 데에 도움을 받았다고 답했다. 이러한 결과는 AI가 업무 생산성을 높이고 창의적인 작업을 촉진하는 데 큰 역할을 하고 있음을 보여준다.   ▲ 대규모 언어 모델 학습 및 추론을 위해 설계된 애저 마이아   마이크로소프트는 오픈 AI와의 파트너십 등으로 AI 기술 개발을 진행하면서, 하드웨어와 소프트웨어의 최적화를 위해 클라우드 인프라를 고도화하고 있다. 데이터센터 제품군에서는 마이크로소프트가 설계한 두 개의 새로운 칩이 포함된다. 마이크로소프트 애저 마이아(Microsoft Azure Maia)는 AI 기술 가속화를 위해 설계된 칩으로, 오픈AI 모델, 빙, 깃허브 코파일럿, 챗GPT와 같은 AI 워크로드에 대한 클라우드 기반 학습 및 추론을 수행하도록 설계됐다. 그리고 마이크로소프트 애저 코발트(Microsoft Azure Cobalt)는 암(Arm) 아키텍처를 기반으로 한 클라우드 네이티브 칩으로, 다양한 종류의 작업을 수행하는 워크로드의 성능 및 전력 효율을 최적화한다.   ▲ 마이크로소프트의 클라우드용 CPU인 애저 코발트   또한, 마이크로소프트는 실리콘 공급업체와의 파트너십 확장 계획도 발표했다. 이를 통해 맞춤형 실리콘을 보완하고 고객에게 더 나은 인프라 옵션을 제공할 수 있을 것으로 기대하고 있다. 마이크로소프트는 애저 클라우드 인프라에 AMD MI300X 가속 가상머신을 추가한다. 이 가상머신은 고성능 AI 모델 학습 및 생성 추론 처리 가속화를 위해 설계됐으며, 여기에 AMD의 인스팅트 MI300X(AMD Instinct MI300X) GPU도 탑재할 예정이다. 프리뷰로 제공되는 NC H100 v5 가상 머신 시리즈는 엔비디아 H100 텐서 코어 GPU용으로 제작된다. 이를 통해 미드레인지 AI 학습 및 생성 AI 추론에 대해 더 뛰어난 성능, 안정성과 효율성을 제공한다.  마이크로소프트는 엔비디아 H200 텐서 코어 GPU가 탑재된 AI 최적화 가상 머신 ND H200 v5 시리즈 출시 계획도 발표했다.

엔비디아가 양자 컴퓨터 프로그래밍 플랫폼인 쿠다 퀀텀(CUDA Quantum)으로 글로벌 화학 기업인 바스프(BASF)의 대규모 분자 시뮬레이션을 지원했다고 밝혔다. 양자 컴퓨팅을 개척하는 새로운 차원의 연구를 진행 중인 바스프는 양자 알고리즘이 기존 시뮬레이션으로 볼 수 없던 NTA의 주요 속성을 볼 수 있는 방법을 실험하고 있다. NTA는 도시 폐수에서 철과 같은 독성 금속을 제거하는 등 다양한 용도로 활용되는 화합물이다. 바스프의 양자 컴퓨팅 팀은 이 문제를 해결하기 위해 GPU에서 양자 컴퓨터 처리 엔진에 해당하는 24개의 큐비트를 시뮬레이션했으며, 최근에는 엔비디아의 에오스(Eos) H100 슈퍼컴퓨터에서 60큐비트 시뮬레이션을 실행했다. 이는 바스프가 양자 알고리즘을 사용해 수행한 가장 큰 분자 시뮬레이션이다. 바스프는 엔비디아 쿠다 퀀텀에서 시뮬레이션을 실행하고 있다. 엔비디아 쿠다 퀀텀은 CPU, GPU 그리고 QPU로도 알려진 양자 컴퓨터를 프로그래밍하기 위한 플랫폼이다. 유연하고 사용자 친화적이어서 비교적 간단한 빌딩 블록으로 복잡한 양자 회로 시뮬레이션을 구축할 수 있다는 점이 특징이다. 이 시뮬레이션에는 많은 작업이 요구되기 때문에 바스프는 엔비디아 H100 텐서 코어 GPU를 탑재한 엔비디아 DGX 클라우드 서비스를 선택했다.     바스프의 양자 컴퓨팅 사업은 2017년에 시작됐다. 바스트의 연구팀은 화학 분야 외에도 머신러닝, 물류와 스케줄링 최적화를 위한 양자 컴퓨팅 사용 사례를 개발하고 있다. 한편, 엔비디아는 바스프 외에도 다른 연구 그룹에서 쿠다 퀀텀으로 과학을 발전시키고 있다고 소개했다. 뉴욕주립대와 스토니브룩대는 아원자 입자의 복잡한 상호작용을 시뮬레이션하고 있으며, 휴렛 팩커드 랩스 연구팀은 양자 화학의 자기 상전이 현상을 탐구하고 있다. 이스라엘의 스타트업인 클래지큐(Classiq)는 이스라엘 텔아비브 소라스키 메디컬 센터에 새로운 연구 센터를 설립하고, 질병 진단과 신약 개발을 가속화하기 위해 양자 컴퓨팅을 활용한다.    양자 서비스 회사인 테라 퀀텀(Terra Quantum)은 생명 과학, 에너지, 화학, 금융 등을 위한 하이브리드 양자 애플리케이션을 개발 중이며, 옥스퍼드 퀀텀 서킷(Oxford Quantum Circuits)을 비롯한 여러 기업이 하이브리드 양자 작업을 위해 엔비디아 그레이스 호퍼 슈퍼칩(Grace Hopper Superships)을 사용할 예정이다.